Контроль качества

Сотрудники НАФИ помогают подобрать правильную методологию и гарантируют её соблюдение в процессе реализации проекта, что обеспечивает высокое качество получаемой информации. Тщательно проработанная структура выборки выступает залогом репрезентативности данных. Разрабатываемый инструментарий адаптируется под задачи исследования, под метод и целевую аудиторию.

До начала полевых работ происходит пилотирование инструментария, проводится инструктаж с интервьюерами/модераторами и региональными партнёрами. При желании клиент может присутствовать на инструктажах, а если это не противоречит методике, то и при проведении интервью. В ходе телефонных опросов и «тайных проверок» все интервью записываются, что позволяет клиенту послушать любую беседу с респондентами.

В количественных оффлайн исследованиях:

• Телефонный контроль – повторный контакт с респондентом по телефону для проверки факта проведения интервью, соответствия социально-демографических параметров респондента указанным в анкете, а также соблюдения методики опроса. При возможности проводится во время полевых работ, но не позднее 10 дней с даты завершения сбора данных. Применяется для личных опросов на бумажных анкетах (PAPI) и планшетах (TAPI). Объем контроля: от 20% до 100% интервью.

• Аудиоконтроль – прослушивание записей интервью (полного или его части) для проверки факта проведения, а также соблюдения методики интервью. Проводится параллельно с проведением полевых работ и не позднее 5 дней с даты их завершения. Применяется для личных опросов на планшетах (TAPI), телефонных опросов (CATI).

• Пеший контроль – повторное посещение респондента для проверки факта проведения интервью, соответствия социально-демографических параметров респондента указанным в анкете данным, а также для проверки соблюдения методики опроса. Проводится не позднее 10 дней с даты завершения полевых работ. Применяется для личных опросов на бумажных анкетах (PAPI).

• GPS-контроль точки опроса (геолокация) / определение адресов (по данным GPS) и/или фотоотчёт с места опроса. Применяется для опросов с использованием планшета (TAPI).

• Фотофиксация факта опроса - сбор супервайзерами проекта фотографий, подтверждающих факт проведения опроса. 

• Внедрение в анкету таймеров - таймеры позволяют регулировать время, требующееся для ответа на вопрос (запрет перехода к следующему вопросу до истечения указанного времени). Применяется для опросов на планшетах (TAPI), опросов на самозаполнение по онлайн-ссылке. 

• Выявление "профессиональных респондентов" - проверка респондентов на участие в опросах в течение последних 6 месяцев. Проверка осуществляется по всему массиву данных с использованием собственной базы респондентов, а также с помощью «черных списков» респондентов из открытых источников.

• Открытый выездной контроль – контролёр выезжает на точку опроса и наблюдает за работой интервьюеров.

• Скрытый выездной контроль – контролёр, не знакомый с интервьюерами, выезжает на точку опроса и скрыто наблюдает за работой интервьюеров.

• «Подставной опрос» – специально проинструктированные люди стараются попасть под опрос, в ходе которого проверяется полнота и точность работы интервьюера. Проводится под запись с фотографией места опроса.

• Все бумажные анкеты, требующие ввода данных, проходят визуальный контроль на логику и наличие ошибок. В процессе ввода осуществляется повторный контроль вводчиком и специальной программой. 

В количественных online-исследованиях:

• время заполнения анкет 
• полнота и корректность заполнения табличных вопросов
• идентичность ответов
• анализ ответов на проверочные вопросы/утверждения
  
• полнота и корректность заполнения открытых вопросов
  
• нетипичное заполнение нетаргетируемых квот
  
• подсчет процента отказов от ответа по каждому респонденту
  
• идентичность IP-адресов
  
• выявление респондентов, придерживающихся экономной стратегии разумной достаточности
  

• мониторинг работы рекрутеров
• двухуровневый скрининг респондента
• анализ аудиозаписей рекрутировочных интервью менеджером проекта
• проверка по специальным базам для исключения «профессиональных респондентов». Используются базы данных аналитического центра НАФИ и профессионального сообщества ОИРОМ.  
• подтверждение данных участников в месте проведения исследования (заполнение скринирующей анкеты, предоставление необходимых документов и т.п.).
• 100% прослушивание и просмотр аудио и видео записей, а также проверка расшифровки (транскриптов) глубинных, экспертных интервью и фокус-групп. 

Минимальный объём контроля равен 10% интервью от общей выборки с равномерным распределением по исполнителям. В зависимости от исходного запроса объём контроля может быть увеличен до 100%.

• проверка на соответствие квотному заданию
• проверка на соответствие записей списку закодированных ответов
• анализ массива данных для выявления максимальных отклонений от средних значений
• проверка соблюдения переходов между вопросами
• проверка соблюдения условия заполнения вопроса (как отдельного вопроса, так и списка ответов от зависимых вопросов)
• проверка интервью на уникальность в рамках одного исполнителя (интервьюера/партнёра)
• использование «вопросов-ловушек»
• проверка на корректное заполнение вопросов с открытым числовым вводом (на допустимость значений)
• проверка на неявную сопоставимость между вопросами
• другие виды проверок по запросу руководителя проекта и клиента 

Все региональные партнёры НАФИ проходят обязательную процедуру аккредитации, в ходе которой проверяется юридическая информация о компании, а также оцениваются её возможности, ресурсы и репутации на исследовательском рынке.

Каждый партнёр получает свою учётную запись в Личном кабинете НАФИ. В нём фиксируется вся информация о сотрудничестве и формируется рейтинг партнёра. После выполнения проекта рейтинг обновляется в зависимости от качества выполненных работ.

На основе рейтинга принимается решение о продолжении или прекращении работы с региональным партнёром.

Информация о недобросовестных компаниях передаётся в профессиональные ассоциации исследовательских компаний — Группа 7/89, ОИРОМ, АМКО.